PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning
Agent强化学习中的持久一致性自我蒸馏
🧭 Agent强化学习·自蒸馏一致性
Beijing Institute of Technology · Meituan · Institute of Automation, Chinese Academy of Sciences · Tsinghua University
通过教师信号局部持久性计算token级权重，联合GRPO缓解Agent稀疏奖励问题
📌 工作参考价值（4 点）
- 在电商/对话搜索Agent的RL微调中，可采用稠密token级蒸馏信号缓解稀疏奖励，利用PCSD的持久一致性权重降低教师噪声。
- 生成式推荐中蒸馏大模型输出时，可借鉴持久一致性思想评估各token的可靠性，用于知识蒸馏中的动态权重分配。
- 自适应窗口与指数衰减聚合捕捉局部支持趋势的做法，可迁移至用户行为序列建模或Agent轨迹中的注意力权重设计。
- 联合GRPO与蒸馏目标的多任务训练范式，为推荐Agent提供了一种平衡探索与利用、兼顾环境反馈与教师引导的优化思路。